Begin 17de eeuw is er op het kasteeldomein een vermelding van een hoeve " 't Cleyn Frythout ". Tussen 1750 en 1800 werd op dit domein het historisch Fruithof gebouwd als hof van plaisantie.
Het Fruithof werd in de jaren 1927-1928 verbouwd in neorococo stijl door Philippe Moretus de Bouchout, die het domein in 1920 kocht en wiens wapenschild, samen met dat van gravin Legrelle, aan de voorgevel is terug te vinden. In 1986 werd het kasteel aangekocht en gerestaureerd door de familie Jan Onzea, een drukkersfamilie uit Borgerhout.
Van af december 1986 fungeert dit statige gebouw, met zijn unieke ligging in de open groene ruimte aan de rand van de metropool, als restaurant. Een centrum waar een ruim publiek zijn gading vindt. Ook de kunst heeft steeds centraal gestaan in kasteel Fruithof, beeldhouwers, schilders, fotografen, steeds zijn er al die jaren permanente tentoonstellingen in het kasteel te bewonderen.